Nat Commun：模态投影模型成医生影像“智能翻译官”，破解多模态分割难题助力诊疗与脑-体研究

当放射科医生同时面对CT的骨骼细节、MR的软组织成像和PET的代谢信号时，如何快速精准地定位病变、量化解剖结构，一直是临床诊断中的棘手问题。深度学习虽大幅推动医学影像分析进步，但跨多种成像模态的通用模型，因模态间特征差异显著，长期困扰着领域发展。

近日，一项发表在Nat Commun的研究给出了答案——研发的模态投影通用模型（MPUM），为全身体医学影像的综合分析与临床应用打开了新大门。

该模型以861名受试者的影像数据为基础完成训练，借助模态投影策略能动态适配不同成像模态的特征差异：不仅实现当前最优的全身体器官分割效果，为计算机辅助诊断提供快速解剖定位与精准量化支持，还通过基于控制器的卷积层实现显著图可视化，让模型在临床应用中的可解释性大幅提升。更重要的是，MPUM还能揭示脑-体轴及不同脑区间的代谢关联，从全身体视角为系统生理交互研究提供关键新方向。

为验证MPUM的临床价值与科研潜力，研究团队设计了三大核心案例。在解剖结构识别任务中，研究将MPUM与CDUM、PCNet、STUNet等主流通用分割模型，以及调整参数后的3D UNet进行对比，并测试了模态混合、模态特异性及模态投影三种训练策略。结果显示，模态投影策略在所有任务中表现最优：MRI身体分割的Dice系数达0.7751、表面Dice系数为0.5471，CT脑部分割的Dice系数达0.7419，均显著优于其他两种策略。在单一器官分析中，MPUM在超过60个器官的分割上取得统计学意义的显著提升，尤其对血管、肌肉骨骼区域及腹部小器官等难分割结构，优势更为明显。

图1 | 模态投影通用模型（MPUM）概述

图2 | MPUM与先进分割模型的性能对比

在颅内出血这一危及生命的急症诊断中，快速精准识别直接影响患者预后。研究团队先在Instance2022数据集上对MPUM进行微调，使其能从CT头部扫描中精准检测并量化出血区域——比如自主识别出左侧岛叶3868立方毫米的出血灶，以及左侧壳核2241立方毫米的出血灶。后续临床验证中，3名初级放射科医生在借助MPUM提供的病灶掩码和脑区图谱后，诊断准确率从平均约71.4%提升至90.5%，已接近资深放射科医生的水平，有效解决了初级医师常出现的出血区域识别不全、相邻脑区混淆等问题。

图3 | MPUM作为辅助诊断工具的性能表现

在多器官代谢关联分析中，研究团队利用MPUM分析了50名癫痫患者和22名健康对照者的全身体PET/CT数据，共识别出203个有效感兴趣区域，并分析了近20503组代谢关联对。结果发现，癫痫患者中有228组脑-脑代谢关联出现显著变化，其中右侧前颞叶外侧部、右侧中颞下回等癫痫病灶常见区域的代谢关联改变尤为突出；同时还观察到，苍白球与T1至T12椎体间的代谢关联在癫痫患者中发生显著扰动。此外，对阿尔茨海默病相关数据的分析显示，MPUM能识别出轻度认知障碍与阿尔茨海默病患者中颞下回、顶叶皮层等区域的代谢关联异常，为这类神经退行性疾病的生物标志物发现提供了重要支持。

图4 | 基于通用模型的儿童癫痫多器官代谢关联分析

从机制上看，MPUM的浅层网络主要提取边缘、纹理等模态无关的低层次语义特征，深层网络则专注捕捉模态特异性的高层次语义特征；显著图分析进一步显示，浅层网络聚焦影像的轮廓和纹理信息，深层网络则逐步细化感兴趣区域，且CT、MR、PET三种模态的显著图各有侧重——CT图注重轮廓、MR图突出软组织细节、PET图聚焦代谢活性区域，这一特点进一步保障了模型的临床可解释性。

图5 | 显著图与特征算子的综合可视化

综上，这项研究成功突破了多模态医学影像通用分割的技术瓶颈。其全身体器官分割的高精度表现，能直接提升临床诊断的效率与准确性，为大规模影像分析提供高效工具；而解析脑-体代谢关联的能力，又搭建了解剖结构与代谢信息之间的桥梁，为跨器官疾病机制研究奠定了基础。未来，随着MPUM在更多临床场景的落地应用，它有望成为放射科医生的“智能助手”，深度融入临床AI流水线，成为影像驱动型诊疗的核心支撑，为精准医疗的发展注入新动能。（生物谷Bioon.com）

参考文献：

Chen, Y., Gao, L., Gao, Y. et al. Modality-projection universal model for comprehensive full-body medical imaging segmentation. Nat Commun 16, 9423 (2025). https://doi.org/10.1038/s41467-025-64469-w